Tính toán hiệu suất cao hiện đại phải đối mặt với một thách thức cơ bản "Tường bộ nhớ": sự tăng trưởng bùng nổ về băng thông tính toán (FLOPS) đã vượt xa mức tăng nhỏ bé trong băng thông bộ nhớ toàn cục băng thông. Khoảng cách này khiến các mảng đa lõi quy mô lớn trở thành những bộ xử lý "khát khao" đang chờ dữ liệu.
1. Khoảng cách băng thông
Trong khi GPU có thể thực hiện hàng nghìn tỷ phép toán mỗi giây, đường truyền vật lý đến DRAM lại bị giới hạn bởi mật độ chân và yêu cầu năng lượng. Bộ nhớ như một yếu tố giới hạn khả năng song song có nghĩa là khi bạn mở rộng số luồng, băng thông trên mỗi luồng sẽ giảm, dẫn đến các chu kỳ đình trệ khi thiết bị không hoạt động.
2. So sánh nhà bếp
Hãy tưởng tượng một căn bếp hiện đại (các lõi GPU) có khả năng nấu 1.000 bữa ăn mỗi giờ. Tuy nhiên, nguyên liệu lại ở một kho hàng (bộ nhớ toàn cục) cách đó năm dặm, và chỉ có một chiếc xe tay ga giao hàng (bus bộ nhớ). Dù bạn thuê bao nhiêu đầu bếp đi nữa, sản lượng của bạn vẫn bị giới hạn bởi tốc độ của chiếc xe tay ga.
3. Sự tương phản kiến trúc
Một hệ thống CPU đa lõi tiêu chuẩn sử dụng bộ đệm lớn để che giấu độ trễ cho một vài luồng nặng. Trong khi đó, các kiến trúc song song quy mô lớn lại phải đối mặt với một tình trạng ùn tắc liên tục do các yêu cầu đồng thời. sử dụng bộ đệm lớn để che giấu độ trễ cho một vài luồng nặng. Trong khi đó, các kiến trúc song song quy mô lớn lại phải đối mặt với một tình trạng ùn tắc liên tục do các yêu cầu đồng thời. Giới hạn tài nguyên ở cấp độ thanh ghi và bộ nhớ chung xác định mức độ song song tối đa (tỷ lệ sử dụng) mà thiết bị có thể đạt được trước khi bị quá tải.